跳到主要内容

模型合并

这一章讲一个听起来像"作弊"但确实好用的技巧——模型合并(Model Merging):直接把两个或多个模型的权重加起来,得到一个新模型。不训练、不 GPU、不需要数据。听起来不可能,但它就是能工作。

模型合并是 HuggingFace 开源社区最近两年的一个"神奇现象":排行榜前几名的模型经常是"合并出来的",甚至比原始的 SFT / RLHF 模型分数更高。

1. 一个反直觉的观察​

先看一个惊人的事实。假设你有两个基于同一个基座(比如都是 LLaMA-3-8B)微调的模型:

  • Model A:擅长代码;
  • Model B:擅长数学。

你直接把两个模型的每个参数逐元素求平均:

Wmerged=0.5⋅WA+0.5⋅WBW_{\text{merged}} = 0.5 \cdot W_A + 0.5 \cdot W_B

得到一个新模型 Model C。Model C 会怎样?

直觉预测:应该"什么都不会"——两个方向的更新平均一下,可能相互抵消。

实际结果:Model C 兼具 A 和 B 的能力——代码好、数学也好,甚至比两者的个别能力都强一点。

这就是模型合并的核心奇迹。为什么?

2. 为什么模型合并能工作​

一个粗糙但有说服力的解释:

从同一个基座微调出来的模型,它们的参数在"loss landscape"上的位置很接近。也就是说,Model A 和 Model B 都是从同一个起点(base model)朝不同方向走了一小步,两者的参数值离得不远。

在这个"局部区域"里,loss surface 是接近凸的——两个点的平均仍然在低 loss 的区间里。所以平均后的模型不会崩,反而能保留两者学到的东西。

更神奇的是:不同任务学到的"参数偏移方向"往往是近似正交的——A 学的是代码相关的方向,B 学的是数学相关的方向,两者在参数空间里干扰不大。平均一下,两个方向都被保留。

这个现象叫 Linear Mode Connectivity——同源模型之间的参数是"线性可连"的。这不是数学定理,是经验观察,但在实践中稳定成立。

注意约束:必须是同基座微调出来的。你把 LLaMA 的权重和 Qwen 的权重平均——没意义,两个不同基座的参数根本不在同一个空间。

3. 最简单的合并方式:Linear Merge​

Linear Merge(也叫 Weighted Average):直接加权平均。

Wmerged=∑iwi⋅Wi,∑iwi=1W_{\text{merged}} = \sum_i w_i \cdot W_i, \quad \sum_i w_i = 1

权重怎么设?看你想偏向哪个:

  • 全部等权重:w=0.5, 0.5;
  • 偏向 A:w=0.7, 0.3;
  • 三方合并:w=0.4, 0.4, 0.2。

优点:极简单,一行代码。

缺点:不同任务学到的参数偏移可能会相互干扰,简单平均没有区分。

4. Task Arithmetic:更结构化的合并​

Task Arithmetic(Ilharco et al., 2022):把"微调"看成一个"向量运算"。

定义 task vector(任务向量):

τi=Wi−Wbase\tau_i = W_i - W_{\text{base}}

也就是"微调后模型和基座的差"。这个 τ 就是"任务 i 学到的方向"。

有了 task vector,你可以做各种操作:

加:合并两个任务能力——W_new = W_base + τ_A + τ_B。

减:从一个模型里去掉某种能力!比如去掉"有毒回答"这种倾向——W_new = W_toxic_model - τ_toxic。

缩放:W_new = W_base + λ · τ_A,λ 控制"任务 A 的强度"。

类比:W_new = W_base + τ_A - τ_B + τ_C——"像 A 那样,但不像 B,加一点 C"。

这种"参数是向量、任务是向量运算"的视角非常有启发。Task Arithmetic 是后面几乎所有合并方法的基础。

5. TIES-Merging:解决参数冲突​

Task Arithmetic 直接相加有个问题:不同 task vector 的某些参数可能是"符号相反"的——A 想把某个参数往正方向调,B 想把它往负方向调。直接加会互相抵消。

TIES-Merging("Trim, Elect Sign, Merge")分三步解决:

1. Trim(修剪):每个 task vector 里,把绝对值最小的那些参数置零——只保留最"有意义"的 top-k% 参数。这一步去掉噪声。

2. Elect Sign(选择符号):对每个参数位置,看多个 task vector 里"正号多还是负号多",选主流符号。所有和主流符号相反的贡献都被抛弃。

3. Merge(合并):只对"符号一致"的贡献做加权平均。

效果:TIES 比简单加法明显好,尤其在合并 3-5 个模型时。

6. DARE:随机丢弃 + 重缩放​

DARE(Drop And REscale):另一个思路——大部分 task vector 的参数其实是噪声,随机丢一半也没关系。

做法:

  • 对每个 task vector,随机把 90% 的参数置零;
  • 剩下的 10% 参数乘以 10 补偿(rescale);
  • 然后做正常合并。

看起来暴力,但真的能工作——说明微调学到的信号非常稀疏,只有一小部分参数真正携带任务信息。

DARE 一般和 TIES 一起用——先 DARE 稀疏化,再 TIES 合并。这个组合是当前主流合并方法。

7. SLERP:几何视角的合并​

Linear Merge 是在"欧几里得空间"里做插值。SLERP(Spherical Linear intERPolation) 是在"球面"上做插值。

想法:把模型参数看成一个向量,考虑两个模型参数的"角度"。Linear Merge 是走直线,SLERP 是沿着球面弧线走。

Wslerp(t)=sin⁡((1−t)Ω)sin⁡ΩWA+sin⁡(tΩ)sin⁡ΩWBW_{\text{slerp}}(t) = \frac{\sin((1-t)\Omega)}{\sin\Omega} W_A + \frac{\sin(t\Omega)}{\sin\Omega} W_B

其中 Ω 是两个向量之间的夹角。

为什么用 SLERP:在高维空间里,两个"单位向量"的中点通常模长会变小——这被称为 midpoint interpolation collapse。SLERP 保持模长不变,理论上更稳定。

实际效果:SLERP 和 Linear Merge 差不多,SLERP 稍好一点。社区里 SLERP 是"合并两个模型"的默认选择。

8. Model Soups:几十个模型平均​

Model Soups(Google,2022):一个偏向训练侧的技巧——同一份数据训多次,参数平均。

做法:

  • 用不同随机种子、不同学习率、不同数据顺序,训 20 个 SFT 模型;
  • 全部平均起来当作最终模型。

结果:合并后的模型比任何单个模型都好,且比"选最好的那个"更 robust。

这个观察和"集成学习(ensemble)"很像,但成本低得多——集成需要推理时跑 20 次,Model Soups 只跑 1 次。

Greedy Soup:不所有都平均,而是逐个尝试——从最好的模型开始,逐个加入其他模型(如果加了效果变好就保留,否则丢弃)。

9. MergeKit:把合并做成工具​

MergeKit 是 HuggingFace 生态里最流行的模型合并工具。它把上面所有方法(Linear, SLERP, TIES, DARE, Task Arithmetic)都实现了,用一个 YAML 配置文件描述合并方案:

merge_method: dare_ties
base_model: meta-llama/Meta-Llama-3-8B
models:
- model: WizardLM-8B
parameters:
density: 0.5
weight: 0.3
- model: MetaMath-8B
parameters:
density: 0.5
weight: 0.3
- model: CodeLlama-8B
parameters:
density: 0.5
weight: 0.4
dtype: bfloat16

跑一下 mergekit-yaml config.yaml output/ 就得到一个合并模型。整个过程不需要 GPU——只是矩阵加权求和。

HuggingFace Leaderboard 上排名靠前的模型经常是 MergeKit 出品——比如 "Beyonder"、"Neural-Chat"、"Nous-Hermes-2" 的一些变体,都是社区用 MergeKit 合并出来的。

10. Frankenmerge:层级重新组合​

Frankenmerge(有时叫 passthrough merge):不平均参数,而是把不同模型的不同层"拼"起来。

比如你有两个都是 32 层的 8B 模型 A 和 B。你可以造一个更大的模型:

第 1-8 层:从 A 取
第 9-16 层:从 B 取
第 17-24 层:从 A 取
第 25-32 层:从 B 取

得到一个 32 层的模型,融合了 A 和 B 的能力。或者更激进:

第 1-8 层:从 A 取
第 9-24 层:从 B 取(16 层)
第 25-32 层:从 A 取
第 33-40 层:从 B 取(重复一部分)

得到一个 40 层的"更大"模型!

这就是 Frankenmerge 的"神奇"——它能造出"合并两个 8B 模型 → 得到一个 12B 模型"这种东西。

实际效果:有些 Frankenmerge 模型(比如 Miqu-70B、Goliath-120B)在榜单上表现出色。但更大的模型未必更聪明——很多 Frankenmerge 只是"看起来更大",实际能力没有本质提升。

社区评价:Frankenmerge 是"民科玩具"和"合法研究"之间的模糊地带。产品级部署很少这样做。

11. Merge 什么时候有用​

真正实用的场景:

多个专家模型合并成一个通用模型:你有 code-model、math-model、write-model,合并成一个"多才多艺"的模型部署——比同时部署三个模型省资源。

基线增强:你训了一个 SFT 模型 v1、又训了一个 v2、又训了一个 v3。合并这三个通常比任何单个好——Model Soups。

能力叠加:一个模型是 SFT-only、另一个是 DPO 过的,合并一下能得到"兼具两者优点"的模型。

去偏:Task Arithmetic 的"减法"——从模型里减掉某种不良倾向。

冲榜:MergeKit + 排行榜 = 免费上分。开源社区里很常见的操作。

不适合的场景:

  • 不同基座之间合并(LLaMA + Qwen,完全没意义);
  • 目标模型和 source 模型行为差异非常大(合并可能崩);
  • 需要严格保证行为可控的生产系统(合并的模型行为很难精确预期)。

12. 一些实用建议​

先验证 base 一致。合并的模型必须来自同一个基座。看 config.json 的 architecture 和 vocab_size 是否一致。不一致的直接放弃。

从简单开始。先试 Linear Merge / SLERP。效果不理想再上 TIES + DARE。别一开始就上最复杂的。

评估很重要。合并出来的模型可能在某个 benchmark 上分数高但另一个方面能力反而崩了。必须多任务评估,不然你可能得到一个"局部完美,其他崩坏"的模型。

权重系数试参。合并的关键超参就是各模型的权重。多试几组,找出最好的。

别期待魔法。模型合并能带来 1-5% 的提升,但不能把一个平庸模型合成 SOTA。合并的上限受源模型限制。

Chat template 冲突。如果两个模型用了不同 chat template,合并后模板行为可能崩。尽量选用同 template 的模型合并。

13. 一些理论上的开放问题​

模型合并是一个"实验先于理论"的领域。很多问题还没搞清楚:

  • 为什么 Linear Mode Connectivity 能成立?只有粗糙的解释;
  • 不同任务的最优权重系数怎么理论上推导?现在全靠试;
  • 合并到什么规模会崩?5 个模型合并通常还行,10 个呢?20 个?
  • DPO 和 SFT 模型能合并吗?可以,但有一些不稳定的观察;
  • 合并出来的模型的 loss landscape 长什么样?不知道。

这些开放问题让"模型合并"依然是一个研究热点。

14. 一句话总结​

模型合并是一个"零成本改模型"的神奇技巧:

  • 原理:同基座微调后的模型参数在参数空间里靠得近,能通过参数运算组合;
  • 主流方法:Linear、SLERP、TIES、DARE、Task Arithmetic;
  • 工具:MergeKit 一站式;
  • 场景:多专家融合、Model Soups 增强、去偏、榜单冲分;
  • 限制:必须同基座、结果需要验证、上限受源模型影响。

如果你有几个同基座的微调模型,合并一下不亏——万一效果好呢?零成本尝试,是被很多人忽视的一个便宜生产力。

下一章我们讲一个更"讨嫌"但极其重要的话题——评估:怎么判断你的微调到底做得好不好。